SoftSkill: Behavioral Compression for Contextual Adaptation
SoftSkill：将 Agent 技能压缩为可训练软前缀的行为适应方法
🧭 LLM 推理行为压缩与自适应
The University of Hong Kong · Huawei Research · City University of Hong Kong · Huazhong University of Science and Technology
用可训练软前缀压缩长 Markdown 技能，以 32 个虚拟 Token 替代数百上千 Token，提升 QA 和数学任务准确率。
📌 工作参考价值（4 点）
- 推荐/搜索场景中常需长文本策略指令（如多路召回规则、排序准则），可借鉴 SoftSkill 将其压缩为可训练 soft prefix，大幅降低推理时的上下文长度和 KV cache 开销。
- Agent 执行复杂任务时，若技能描述过长，可预先训练任务专属的 latent prefix 来注入行为先验，提升 Agent 遵循流程的稳定性和效率。
- 工程上采用冻结基座模型、仅训练少量虚拟 Token 的方法，避免全参数微调，部署时只需替换短 prefix，实现低成本多技能热切换。
- 实验中长度仅 32 的 soft prefix 即大幅超越长 Markdown 提示，说明压缩技能表示本身具有强正则化效果，可迁移用于压缩推荐解释、搜索引导等长文本上下文。